Wie Gesellschaft algorithmischen Entscheidungen auf den Zahn fühlen kann

Zunehmend treffen algorithmische Entscheidungssysteme (ADM-Systeme) Entscheidungen über Menschen und beeinflussen damit öffentliche Räume oder die gesellschaftlichen Teilhabemöglichkeiten von Individuen; damit gehören derartige Systeme zur öffentlichen IT. Hier zeigen wir, am Beispiel der Analyse von Rückfälligkeitsvorhersagesystemen und dem Datenspende-Projekt zur Bundestagswahl 2017, wie solche Systeme mit Hilfe von Black-Box-Analysen von der Öffentlichkeit untersucht werden können und wo die Grenzen dieses Ansatzes liegen. Insbesondere bei ADM-Systemen der öffentlichen Hand zeigt sich hierbei, dass eine Black-Box-Analyse nicht ausreichend ist, sondern hier ein qualitätsgesicherter Prozess der Entwicklung und Evaluation solcher Systeme notwendig ist

Fairness und Qualität algorithmischer Entscheidungen

Algorithmische Entscheidungssysteme werden immer häufiger zur Klassifikation und Prognose von menschlichem Verhalten herangezogen. Hierbei gibt es einen breiten Diskurs um die Messung der Entscheidungsqualität solcher Systeme (Qualität) und die mögliche Diskriminierung von Teilgruppen (Fairness), welchen sich dieser Artikel widmet. Wir zeigen auf, dass es miteinander unvereinbare Fairnessmaße gibt, wobei wir auf zwei im Speziellen eingehen. Für sich allein betrachtet sind die zwei Maße zwar logisch und haben je nach Anwendungsgebiet auch ihre Daseinsberechtigung, jedoch können nicht beide zugleich erfüllt werden. Somit zeigt sich, dass gerade im Einsatz algorithmischer Entscheidungssysteme im Bereich der öffentlichen IT aufgrund ihres großen Wirkungsbereichs auf das Gemein-wohl höchste Vorsicht bei der Wahl solcher Maßstäbe herrschen muss. Wird im Anwendungsfall die Erfüllung sich widersprechender Maßstäbe gefordert, so muss darüber nachgedacht werden, ob eine algorithmische Lösung an dieser Stelle überhaupt eingesetzt werden darf

Quantitative study about the estimated impact of the AI Act

With the Proposal for a Regulation laying down harmonised rules on Artificial Intelligence (AI Act) the European Union provides the first regulatory document that applies to the entire complex of AI systems. While some fear that the regulation leaves too much room for interpretation and thus bring little benefit to society, others expect that the regulation is too restrictive and, thus, blocks progress and innovation, as well as hinders the economic success of companies within the EU. Without a systematic approach, it is difficult to assess how it will actually impact the AI landscape. In this paper, we suggest a systematic approach that we applied on the initial draft of the AI Act that has been released in April 2021. We went through several iterations of compiling the list of AI products and projects in and from Germany, which the Lernende Systeme platform lists, and then classified them according to the AI Act together with experts from the fields of computer science and law. Our study shows a need for more concrete formulation, since for some provisions it is often unclear whether they are applicable in a specific case or not. Apart from that, it turns out that only about 30\% of the AI systems considered would be regulated by the AI Act, the rest would be classified as low-risk. However, as the database is not representative, the results only provide a first assessment. The process presented can be applied to any collections, and also repeated when regulations are about to change. This allows fears of over- or under-regulation to be investigated before the regulations comes into effect.Comment: The raw data and the various categorizations (including the preprocessing steps) are submitted as wel

What did you see? A study to measure personalization in Google’s search engine

In this paper we present the results of the project “#Datenspende” where during the German election in 2017 more than 4000 people contributed their search results regarding keywords connected to the German election campaign. Analyzing the donated result lists we prove, that the room for personalization of the search results is very small. Thus the opportunity for the effect mentioned in Eli Pariser’s filter bubble theory to occur in this data is also very small, to a degree that it is negligible. We achieved these results by applying various similarity measures to the result lists that were donated. The first approach using the number of common results as a similarity measure showed that the space for personalization is less than two results out of ten on average when searching for persons and at most four regarding the search for parties. Application of other, more specific measures show that the space is indeed smaller, so that the presence of filter bubbles is not evident. Moreover this project is also a proof of concept, as it enables society to permanently monitor a search engine’s degree of personalization for any desired search terms. The general design can also be transferred to intermediaries, if appropriate APIs restrict selective access to contents relevant to the study in order to establish a similar degree of trustworthiness

Zertifikatsangebot zum Themenfeld „Sozioinformatik"

Im vorliegenden Arbeitsbericht wird die Planung und Entwicklung eines Zertifikatangebots zum Thema Sozioinformatik beschrieben. Die Entwicklung eines Angebots in diesem Bereich wurde durch den Fachbereich Informatik initiiert. Durch regionale Datenerhebungen in der Bevölke-rung und in der Westpfalz ansässigen Unternehmen sowie die Analyse von Sekundärdaten konnte zunächst kein eindeutiger Bedarf in der Region ermittelt werden, wohingegen die So-zioinformatik als junges Forschungsfeld im wissenschaftlichen Diskurs an Bedeutung gewinnt. Zunächst wird die Erschließung des vermuteten Bedarfs beschrieben und daran anschließend das Konzept zum Studienangebot vorgestellt

Zertifikatsangebot zum Themenfeld „Sozioinformatik"

Im vorliegenden Arbeitsbericht wird die Planung und Entwicklung eines Zertifikatangebots zum Thema Sozioinformatik beschrieben. Die Entwicklung eines Angebots in diesem Bereich wurde durch den Fachbereich Informatik initiiert. Durch regionale Datenerhebungen in der Bevölke-rung und in der Westpfalz ansässigen Unternehmen sowie die Analyse von Sekundärdaten konnte zunächst kein eindeutiger Bedarf in der Region ermittelt werden, wohingegen die So-zioinformatik als junges Forschungsfeld im wissenschaftlichen Diskurs an Bedeutung gewinnt. Zunächst wird die Erschließung des vermuteten Bedarfs beschrieben und daran anschließend das Konzept zum Studienangebot vorgestellt

Overview of transparency and inspectability mechanisms to achieve accountability of artificial intelligence systems

Several governmental organizations all over the world aim for algorithmic accountability of artificial intelligence systems. However, there are few specific proposals on how exactly to achieve it. This article provides an extensive overview of possible transparency and inspectability mechanisms that contribute to accountability for the technical components of an algorithmic decision-making system. Following the different phases of a generic software development process, we identify and discuss several such mechanisms. For each of them, we give an estimate of the cost with respect to time and money that might be associated with that measure

Algorithmen und Meinungsbildung : eine grundlegende Einführung

In diesem Artikel geben wir eine grundlegende Einführung in die algorithmischen Empfehlungssysteme und wie sie – unter Umständen – Filterblasen und Echokammern in sozialen Medien erzeugen könnten. Der Term Filterblase beschreibt dabei das Phänomen, dass wir von Algorithmen hauptsächlich solche Themen wieder vorgeschlagen bekommen, die wir schon mögen. Als Echokammern bezeichnet man Freundesgruppen, die hauptsächlich aus Leuten mit ähnlicher Meinung bestehen, in denen also jede Aussage widerhallt. Auch wenn es noch keine Studien gibt, die wirklich nachweisen, dass Menschen heutzutage durch die Wirkung von Algorithmen tatsächlich in dichteren Filterblasen leben oder in der Bildung von Echokammern bestärkt werden, ist doch klar, dass mit Hilfe dieser Algorithmen unsere Meinungsbildung manipuliert werden könnte. Daher sprechen wir uns für eine sinnvolle Überwachung von solchen Algorithmen aus, um eine solche Manipulation überhaupt entdecken zu können.publishe